평균 제곱 오차

작성자

익명

작성일

2026.07.10

조회수

버전

평균 제곱 오차 회귀 분석 손실 함수 경사하강법 이상치 머신러닝 통계학 초급

평균 제곱 오차 (Mean Squared Error, MSE)

평균 제곱 오차(Mean Squared Error, 이하 MSE)는 예측값과 실제값 사이의 차이인 잔차를 제곱하여 산술 평균을 구한 통계적 지표로, 회귀 모델의 예측 성능을 평가하는 데 널리 사용되는 손실 함수(Loss Function)이다.

1. 정의 및 개념

MSE는 회귀 분석(Regression Analysis)에서 모델이 생성한 예측값이 실제 관측값과 얼마나 떨어져 있는지를 수치화한다. 여기서 회귀 분석이란 종속 변수(Target)와 하나 이상의 독립 변수(Feature) 간의 관계를 모델링하여 연속적인 수치를 예측하는 통계적 방법론을 의미한다.

MSE는 잔차(Error, 실제값과 예측값의 차이)를 단순히 합산하지 않고 제곱한다는 점이 핵심이다. 이는 잔차가 양수이든 음수이든 상관없이 모두 양수로 변환하여 합산하기 위함이며, 동시에 잔차가 커질수록 그 값을 기하급수적으로 증가시켜 모델이 큰 오차를 범했을 때 더 강력한 패널티를 부여하도록 설계되었다.

2. 수학적 정의 및 공식

MSE의 수학적 정의는 다음과 같다. 데이터셋의 크기가 $n$일 때, MSE는 아래의 수식으로 계산된다.

$$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

각 기호가 의미하는 바는 다음과 같다: * $n$: 전체 데이터 샘플의 개수 * $\sum_{i=1}^{n}$: $i=1$부터 $n$까지의 모든 항을 합산한다는 의미 * $y_i$: $i$번째 데이터의 실제 관측값 (Ground Truth) * $\hat{y}_i$: 모델에 의해 계산된 $i$번째 데이터의 예측값 (Prediction) * $(y_i - \hat{y}_i)$: 잔차 (Residual)

3. 주요 특징 및 성질

MSE는 수학적 편의성과 통계적 특성 덕분에 머신러닝 최적화 과정에서 표준적으로 사용된다.

3.1 수학적/통계적 특성

큰 오차에 대한 패널티: 잔차를 제곱하기 때문에, 작은 잔차보다 큰 잔차가 발생했을 때 MSE 값이 급격히 증가한다. 이는 모델이 극단적인 오류를 범하지 않도록 유도하는 효과가 있다.
미분 가능성(Differentiability): MSE 함수는 모든 구간에서 연속이며 미분이 가능하다. 이는 경사하강법(Gradient Descent)과 같은 최적화 알고리즘을 적용할 때, 함수의 기울기(Gradient)를 계산하여 가중치를 업데이트하기에 매우 용이하다는 것을 의미한다.

3.2 장단점 비교

구분	내용	비고
장점	수학적으로 다루기 쉬움 (미분 가능)	최적화 알고리즘 적용에 유리
	큰 오차를 민감하게 포착함	모델의 안정성 확보에 기여
단점	이상치(Outlier)에 매우 민감함	데이터 노이즈가 클 경우 성능 왜곡 가능성
	결과값의 단위가 원래 데이터와 다름	제곱된 값이므로 해석 시 주의 필요

4. 다른 오차 지표와의 비교

회귀 모델의 성능을 평가할 때는 MSE 외에도 다양한 지표가 사용된다. 각 지표는 이상치에 대한 반응성과 단위 측면에서 차이를 보인다.

4.1 주요 지표 비교

지표	풀네임	공식 특징	이상치 민감도	단위(Unit)	특징 및 용도
MSE	Mean Squared Error	오차의 제곱 평균	높음	데이터의 제곱 단위	최적화(학습)용 손실 함수로 주로 사용
MAE	Mean Absolute Error	오차의 절대값 평균	낮음	데이터와 동일한 단위	실제 오차의 물리적 의미를 직관적으로 전달
RMSE	Root Mean Squared Error	MSE에 루트를 씌움	중간	데이터와 동일한 단위	MSE의 단점(단위 불일치)을 보완하여 해석 용이

4.2 관계식 및 이상치 민감도 분석

MSE와 RMSE 사이에는 다음과 같은 단위 변환 관계가 성립한다. $$RMSE = \sqrt{MSE}$$

이상치(Outlier)는 일반적인 데이터 패턴에서 크게 벗어난 값을 의미한다. MSE는 잔차를 제곱하므로, 이상치가 존재할 경우 해당 잔차가 전체 평균에 미치는 영향력이 MAE에 비해 압도적으로 커진다.

[예시: 이상치 포함 여부에 따른 비교]

구분	데이터셋 (실제값 $y$ vs 예측값 $\hat{y}$)	MSE	MAE
정상 데이터	$y=[1, 2, 3]$, $\hat{y}=[1.1, 1.9, 3.1]$	$0.013$	$0.067$
이상치 포함	$y=[1, 2, \mathbf{10}]$, $\hat{y}=[1.1, 1.9, \mathbf{1}]$	$\mathbf{24.013}$	$\mathbf{3.067}$

위 예시에서 보듯, 세 번째 데이터가 이상치($10$ vs $1$)로 작용할 경우 MSE는 약 1,800배 급증하지만, MAE는 상대적으로 완만하게 증가한다. 따라서 데이터셋에 노이즈가 많다면 MSE만으로 모델을 평가하는 것은 위험할 수 있다.

5. 계산 예제 및 구현

5.1 단계별 수동 계산 예시

다음과 같은 실제값($y$)과 예측값($\hat{y}$) 데이터셋이 있다고 가정하자. * 실제값 $y = [3, -0.5, 2, 7]$ * 예측값 $\hat{y} = [2.5, 0.0, 2, 8]$

잔차 계산 ($y_i - \hat{y}_i$): $$3 - 2.5 = 0.5, \quad -0.5 - 0 = -0.5, \quad 2 - 2 = 0, \quad 7 - 8 = -1$$
잔차 제곱 계산 ($(y_i - \hat{y}_i)^2$): $$(0.5)^2 = 0.25, \quad (-0.5)^2 = 0.25, \quad (0)^2 = 0, \quad (-1)^2 = 1$$
제곱 합산 ($\sum$): $$0.25 + 0.25 + 0 + 1 = 1.5$$
평균 계산 ($\frac{1}{n}$): $$1.5 / 4 = 0.375$$

따라서 MSE는 0.375이다.

5.2 Python 구현 예제

<a href="/doc/%EA%B8%B0%EC%88%A0/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D/Python/NumPy" class="wiki-link">NumPy</a>와 <a href="/doc/%EA%B8%B0%EC%88%A0/%EC%86%8C%ED%94%84%ED%8A%B8%EC%9B%A8%EC%96%B4/%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4/Scikit-learn" class="wiki-link">Scikit-learn</a> 라이브러리를 사용하여 MSE를 계산하는 방법은 다음과 같다.

import numpy as np
from sklearn.metrics import mean_squared_error

# 데이터 정의
y_true = np.array([3, -0.5, 2, 7])
y_pred = np.array([2.5, 0.0, 2, 8])

# 1. NumPy를 이용한 직접 계산
mse_numpy = np.mean((y_true - y_pred)**2)

# 2. Scikit-learn 라이브러리 이용
mse_sklearn = mean_squared_error(y_true, y_pred)

print(f"NumPy MSE: {mse_numpy}")
print(f"Scikit-learn MSE: {mse_sklearn}")

6. 심화 내용

6.1 MSE의 한계를 보완하는 손실 함수

MSE가 이상치에 지나치게 민감하다는 단점을 극복하기 위해 다음과 같은 대안적 손실 함수들이 사용된다.

Huber Loss (휴버 손실): 잔차가 작을 때는 MSE처럼 동작하고, 잔차가 일정 임계값($\delta$)보다 커지면 MAE처럼 동작하도록 설계된 함수이다. MSE의 미분 가능성과 MAE의 이상치 강건성(Robustness)을 동시에 취할 수 있다.
Log-Cosh Loss: $\log(\cosh(\hat{y} - y))$ 형태를 가지며, 잔차가 작을 때는 $x^2/2$와 유사하게 동작하고 잔차가 커지면 $|x| - \log(2)$와 유사하게 동작한다. Huber Loss보다 두 번 미분 가능하다는 수학적 이점이 있다.

6.2 MSE가 사용되는 구체적인 머신러닝 모델

MSE는 주로 연속적인 수치를 예측하는 회귀(Regression) 계열의 알고리즘에서 핵심 손실 함수로 채택된다.

선형 회귀 (Linear Regression): 최소제곱법(Ordinary Least Squares)을 통해 MSE를 최소화하는 직선의 기울기와 절편을 찾는다.
인공 신경망 (Artificial Neural Networks): 다층 퍼셉트론(MLP) 기반의 회귀 모델에서 역전파(Backpropagation) 알고리즘을 통해 가중치를 업데이트할 때 손실 함수로 사용된다.
릿지 및 라쏘 회귀 (Ridge & Lasso Regression): MSE에 규제 항(Regularization term)을 추가하여 과적합(Overfitting)을 방지하는 모델들이다.

6.3 시각화 분석 (개념적 설명)

데이터의 분포와 예측 성능을 시각화할 때, MSE는 다음과 같은 양상을 보인다.

회귀선과 잔차도(Residual Plot): 실제 데이터 포인트들과 회귀선 사이의 수직 거리를 제곱한 값이 MSE를 구성한다. 이상치가 존재할 경우, 해당 지점에서의 잔차가 매우 커지며 전체 MSE 곡선을 위로 끌어올리는 것을 시각적으로 확인할 수 있다.
손실 곡선(Loss Curve): 학습이 진행됨에 따라 MSE 값이 감소하는 과정을 그래프로 나타낸다. 경사하강법이 성공적이라면 MSE는 점진적으로 0에 수렴하는 형태를 보인다.

참고: 실제 시각화 구현 시에는 Matplotlib 라이브러리를 사용하여 plt.scatter(y_true, y_pred)와 회귀선을 그려 오차의 분포를 확인할 수 있습니다.

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 평균 제곱 오차 (Mean Squared Error, MSE)

**평균 제곱 오차(Mean Squared Error, 이하 MSE)**는 예측값과 실제값 사이의 차이인 잔차를 제곱하여 산술 평균을 구한 통계적 지표로, 회귀 모델의 예측 성능을 평가하는 데 널리 사용되는 손실 함수(Loss Function)이다.

## 1. 정의 및 개념
MSE는 회귀 분석(Regression Analysis)에서 모델이 생성한 예측값이 실제 관측값과 얼마나 떨어져 있는지를 수치화한다. 여기서 **회귀 분석**이란 종속 변수(Target)와 하나 이상의 독립 변수(Feature) 간의 관계를 모델링하여 연속적인 수치를 예측하는 통계적 방법론을 의미한다.

MSE는 잔차(Error, 실제값과 예측값의 차이)를 단순히 합산하지 않고 **제곱**한다는 점이 핵심이다. 이는 잔차가 양수이든 음수이든 상관없이 모두 양수로 변환하여 합산하기 위함이며, 동시에 잔차가 커질수록 그 값을 기하급수적으로 증가시켜 모델이 큰 오차를 범했을 때 더 강력한 패널티를 부여하도록 설계되었다.

## 2. 수학적 정의 및 공식
MSE의 수학적 정의는 다음과 같다. 데이터셋의 크기가 $n$일 때, MSE는 아래의 수식으로 계산된다.

$$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

각 기호가 의미하는 바는 다음과 같다:
*   $n$: 전체 데이터 샘플의 개수
*   $\sum_{i=1}^{n}$: $i=1$부터 $n$까지의 모든 항을 합산한다는 의미
*   $y_i$: $i$번째 데이터의 실제 관측값 (Ground Truth)
*   $\hat{y}_i$: 모델에 의해 계산된 $i$번째 데이터의 예측값 (Prediction)
*   $(y_i - \hat{y}_i)$: 잔차 (Residual)

## 3. 주요 특징 및 성질
MSE는 수학적 편의성과 통계적 특성 덕분에 머신러닝 최적화 과정에서 표준적으로 사용된다.

### 3.1 수학적/통계적 특성
1.  **큰 오차에 대한 패널티**: 잔차를 제곱하기 때문에, 작은 잔차보다 큰 잔차가 발생했을 때 MSE 값이 급격히 증가한다. 이는 모델이 극단적인 오류를 범하지 않도록 유도하는 효과가 있다.
2.  **미분 가능성(Differentiability)**: MSE 함수는 모든 구간에서 연속이며 미분이 가능하다. 이는 **경사하강법(Gradient Descent)**과 같은 최적화 알고리즘을 적용할 때, 함수의 기울기(Gradient)를 계산하여 가중치를 업데이트하기에 매우 용이하다는 것을 의미한다.

### 3.2 장단점 비교
| 구분 | 내용 | 비고 |
| :--- | :--- | :--- |
| **장점** | 수학적으로 다루기 쉬움 (미분 가능) | 최적화 알고리즘 적용에 유리 |
| | 큰 오차를 민감하게 포착함 | 모델의 안정성 확보에 기여 |
| **단점** | 이상치(Outlier)에 매우 민감함 | 데이터 노이즈가 클 경우 성능 왜곡 가능성 |
| | 결과값의 단위가 원래 데이터와 다름 | 제곱된 값이므로 해석 시 주의 필요 |

## 4. 다른 오차 지표와의 비교
회귀 모델의 성능을 평가할 때는 MSE 외에도 다양한 지표가 사용된다. 각 지표는 이상치에 대한 반응성과 단위 측면에서 차이를 보인다.

### 4.1 주요 지표 비교
| 지표 | 풀네임 | 공식 특징 | 이상치 민감도 | 단위(Unit) | 특징 및 용도 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| **MSE** | Mean Squared Error | 오차의 제곱 평균 | **높음** | 데이터의 제곱 단위 | 최적화(학습)용 손실 함수로 주로 사용 |
| **MAE** | Mean Absolute Error | 오차의 절대값 평균 | **낮음** | 데이터와 동일한 단위 | 실제 오차의 물리적 의미를 직관적으로 전달 |
| **RMSE** | Root Mean Squared Error | MSE에 루트를 씌움 | **중간** | 데이터와 동일한 단위 | MSE의 단점(단위 불일치)을 보완하여 해석 용이 |

### 4.2 관계식 및 이상치 민감도 분석
MSE와 RMSE 사이에는 다음과 같은 단위 변환 관계가 성립한다.
$$RMSE = \sqrt{MSE}$$

**이상치(Outlier)**는 일반적인 데이터 패턴에서 크게 벗어난 값을 의미한다. MSE는 잔차를 제곱하므로, 이상치가 존재할 경우 해당 잔차가 전체 평균에 미치는 영향력이 MAE에 비해 압도적으로 커진다. 

#### [예시: 이상치 포함 여부에 따른 비교]
| 구분 | 데이터셋 (실제값 $y$ vs 예측값 $\hat{y}$) | MSE | MAE |
| :--- | :--- | :--- | :--- |
| **정상 데이터** | $y=[1, 2, 3]$, $\hat{y}=[1.1, 1.9, 3.1]$ | $0.013$ | $0.067$ |
| **이상치 포함** | $y=[1, 2, \mathbf{10}]$, $\hat{y}=[1.1, 1.9, \mathbf{1}]$ | $\mathbf{24.013}$ | $\mathbf{3.067}$ |

위 예시에서 보듯, 세 번째 데이터가 이상치($10$ vs $1$)로 작용할 경우 MSE는 약 1,800배 급증하지만, MAE는 상대적으로 완만하게 증가한다. 따라서 데이터셋에 노이즈가 많다면 MSE만으로 모델을 평가하는 것은 위험할 수 있다.

## 5. 계산 예제 및 구현

### 5.1 단계별 수동 계산 예시
다음과 같은 실제값($y$)과 예측값($\hat{y}$) 데이터셋이 있다고 가정하자.
*   실제값 $y = [3, -0.5, 2, 7]$
*   예측값 $\hat{y} = [2.5, 0.0, 2, 8]$

1.  **잔차 계산 ($y_i - \hat{y}_i$):**
    $$3 - 2.5 = 0.5, \quad -0.5 - 0 = -0.5, \quad 2 - 2 = 0, \quad 7 - 8 = -1$$
2.  **잔차 제곱 계산 ($(y_i - \hat{y}_i)^2$):**
    $$(0.5)^2 = 0.25, \quad (-0.5)^2 = 0.25, \quad (0)^2 = 0, \quad (-1)^2 = 1$$
3.  **제곱 합산 ($\sum$):**
    $$0.25 + 0.25 + 0 + 1 = 1.5$$
4.  **평균 계산 ($\frac{1}{n}$):**
    $$1.5 / 4 = 0.375$$

따라서 **MSE는 0.375**이다.

### 5.2 Python 구현 예제
`NumPy`와 `Scikit-learn` 라이브러리를 사용하여 MSE를 계산하는 방법은 다음과 같다.

```python
import numpy as np
from sklearn.metrics import mean_squared_error

# 데이터 정의
y_true = np.array([3, -0.5, 2, 7])
y_pred = np.array([2.5, 0.0, 2, 8])

# 1. NumPy를 이용한 직접 계산
mse_numpy = np.mean((y_true - y_pred)**2)

# 2. Scikit-learn 라이브러리 이용
mse_sklearn = mean_squared_error(y_true, y_pred)

print(f"NumPy MSE: {mse_numpy}")
print(f"Scikit-learn MSE: {mse_sklearn}")
```

## 6. 심화 내용

### 6.1 MSE의 한계를 보완하는 손실 함수
MSE가 이상치에 지나치게 민감하다는 단점을 극복하기 위해 다음과 같은 대안적 손실 함수들이 사용된다.

*   **Huber Loss (휴버 손실)**: 잔차가 작을 때는 MSE처럼 동작하고, 잔차가 일정 임계값($\delta$)보다 커지면 MAE처럼 동작하도록 설계된 함수이다. MSE의 미분 가능성과 MAE의 이상치 강건성(Robustness)을 동시에 취할 수 있다.
*   **Log-Cosh Loss**: $\log(\cosh(\hat{y} - y))$ 형태를 가지며, 잔차가 작을 때는 $x^2/2$와 유사하게 동작하고 잔차가 커지면 $|x| - \log(2)$와 유사하게 동작한다. Huber Loss보다 두 번 미분 가능하다는 수학적 이점이 있다.

### 6.2 MSE가 사용되는 구체적인 머신러닝 모델
MSE는 주로 연속적인 수치를 예측하는 **회귀(Regression)** 계열의 알고리즘에서 핵심 손실 함수로 채택된다.

1.  **선형 회귀 (Linear Regression)**: 최소제곱법(Ordinary Least Squares)을 통해 MSE를 최소화하는 직선의 기울기와 절편을 찾는다.
2.  **인공 신경망 (Artificial Neural Networks)**: 다층 퍼셉트론(MLP) 기반의 회귀 모델에서 역전파(Backpropagation) 알고리즘을 통해 가중치를 업데이트할 때 손실 함수로 사용된다.
3.  **릿지 및 라쏘 회귀 (Ridge & Lasso Regression)**: MSE에 규제 항(Regularization term)을 추가하여 과적합(Overfitting)을 방지하는 모델들이다.

### 6.3 시각화 분석 (개념적 설명)
데이터의 분포와 예측 성능을 시각화할 때, MSE는 다음과 같은 양상을 보인다.

*   **회귀선과 잔차도(Residual Plot)**: 실제 데이터 포인트들과 회귀선 사이의 수직 거리를 제곱한 값이 MSE를 구성한다. 이상치가 존재할 경우, 해당 지점에서의 잔차가 매우 커지며 전체 MSE 곡선을 위로 끌어올리는 것을 시각적으로 확인할 수 있다.
*   **손실 곡선(Loss Curve)**: 학습이 진행됨에 따라 MSE 값이 감소하는 과정을 그래프로 나타낸다. 경사하강법이 성공적이라면 MSE는 점진적으로 0에 수렴하는 형태를 보인다.

> **참고**: 실제 시각화 구현 시에는 Matplotlib 라이브러리를 사용하여 `plt.scatter(y_true, y_pred)`와 회귀선을 그려 오차의 분포를 확인할 수 있습니다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(qwen/qwen3.6-35b-a3b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나